使用开源数据分析栈的五大原因

在今天，几乎每家公司都在某种程度上使用数据驱动。

包括医疗保健、电信、银行、保险、零售以及教育等，主流的垂直行业务都在用数据分析来更好的理解他们的客户，以优化自己的商业和业务流程实现利润的最大化。

目前企业在进行大数据分析时，会面临两个主要挑战：

数据追踪：

从各个数据源追踪所需要的数据，从中取得相关行为和有益反馈。比如，大多数的电商企业，追踪如会员登录，注册，购买，加购物车，支付，包括移动应用上的收藏，评论以及浏览等用户活动数据都是一个挑战。

在数据与商业智能（BI）之间建立联系

获取到数据后，将它转换为BI工具兼容的类型、格式等，也是一个巨大的挑战。

因此，设计良好的数据分析技术栈非常重要。

数据分析技术栈都有什么

一个数据分析技术栈是一个工具组合，放在一起，可以将全部数据集成在一个平台上，平台提供给开发者获取可操作的报表或洞察力，给决策层提供良好的帮助。

如图所示，数据分析技术线基于三个基本步骤构建：

1、数据集成

从多个混合来源收集数据，转换成兼容数据并存储。来源包括不限于MySQL,日志，事件等，如APP点击，登录，收藏等。数据分析技术栈能够有效使用这些数据，并执行有意义的分析。

2、数据仓库

在做数据分析时，随着数据复杂性增加，需要将数据整合到同一个数据仓库。包括使用Redshit，Google BigQuery、Snowflake以及MarkLogic等平台。

3、数据分析

最后一步骤，使用可视化工具从数据仓库中加载数据，提取其中有意见的数据和模式，输出为图表、报表等直观可视化的图形。

在选择数据分析栈时，通常有两个选择，一个是专有工具，比如Google Analytics，Mixpanel，这些供应商提供了标准的配置和管理，人们的重点是项目管理，而不是技术管理。

这些工具有着一些优点，但是从成本，数据共享，隐私等存在问题，人们于是从开源产品寻找替代方案。

开源数据分析工具优势

1、成本

开源工具免费，即使是企业版本，价格也更低，可以说是物有所值。

2、灵活性

即便软件接口改变，修改起来也是方便的。

3、避免供应商锁定

锁定即垄断，即客户完全依赖供应商的产品和服务，不能迁移或迁移非常困难。

而使用开源工具，则不会。开源社区一直在持续前进，始终在最新状态，无需依赖任何组织。

4、优化的数据安全和隐私保护

虽然GDPR和CCPA等数据保护条例，但是数据泄露问题也一直发生。

使用自己的私有去或本地环境中，使用开源技术栈可以完全控制自己的数据，可以自己决定如何使用这些数据，通过它也能明确指明第三方哪些数据能够用。

小结

开源已经主流，微软，苹果以及IBM等公司也在积极推进和参与开源社区，并不断为此做着出贡献。

一起拥抱大数据开源技术栈。

作者：刚子

相关阅读：